对抗性的鲁棒性已经成为深度学习的核心目标，无论是在理论和实践中。然而，成功的方法来改善对抗的鲁棒性（如逆势训练）在不受干扰的数据上大大伤害了泛化性能。这可能会对对抗性鲁棒性如何影响现实世界系统的影响（即，如果它可以提高未受干扰的数据的准确性），许多人可能选择放弃鲁棒性）。我们提出内插对抗培训，该培训最近雇用了在对抗培训框架内基于插值的基于插值的培训方法。在CiFar -10上，对抗性训练增加了标准测试错误（当没有对手时）从4.43％到12.32％，而我们的内插对抗培训我们保留了对抗性的鲁棒性，同时实现了仅6.45％的标准测试误差。通过我们的技术，强大模型标准误差的相对增加从178.1％降至仅为45.5％。此外，我们提供内插对抗性培训的数学分析，以确认其效率，并在鲁棒性和泛化方面展示其优势。
translated by 谷歌翻译
Graph Machine Learning（GraphMl）将经典的机器学习推广到不规则的图形域，它享有最近的文艺复兴时期，导致了令人眼花and乱的模型及其在多个域中的应用。随着政府机构对可信赖的AI系统的敏感领域和法规的日益适用性，研究人员已开始研究透明度和图形学习的隐私问题。但是，这些主题主要是独立研究的。在该立场论文中，我们提供了有关GraphMl隐私和透明度相互作用的统一观点。
translated by 谷歌翻译
现代语言模型利用越来越多的参数来实现自然语言理解任务的性能。在特定配置中完成这些模型以进行下游任务，甚至可以进一步改进性能。在本文中，我们对包装语言模型进行分析，并将单语言模型与在最终模型大小上大致相同的包装合奏进行比较。我们探索一系列模型包装配置，用于自然语言理解任务，最终合奏尺寸从300m参数到1.5B参数，并确定我们的结合方法最多大致相当于单个LM基线。我们注意到，根据我们的实验中的发现，例如降低方差和较小的绩效改善，在特定情况下进行包装和修剪的其他积极影响。
translated by 谷歌翻译
隐私性和解释性是实现值得信赖的机器学习的两种重要成分。我们通过图形重建攻击研究了图机学习中这两个方面的相互作用。这里的对手的目的是重建给定模型解释的训练数据的图形结构。根据对手可用的不同种类的辅助信息，我们提出了几种图形重建攻击。我们表明，事后功能解释的其他知识大大提高了这些攻击的成功率。此外，我们详细研究了攻击性能相对于三种不同类别的图形神经网络的解释方法的差异：基于梯度，基于扰动和基于替代模型的方法。虽然基于梯度的解释在图形结构方面显示最多，但我们发现这些解释并不总是在实用程序上得分很高。对于其他两类的解释，隐私泄漏随着解释实用程序的增加而增加。最后，我们提出了基于随机响应机制的防御，以释放大大降低攻击成功率的解释。我们的匿名代码可用。
translated by 谷歌翻译
解释机器学习决策的问题是经过深入研究和重要的。我们对一种涉及称为图形神经网络的图形数据的特定类型的机器学习模型感兴趣。众所周知，由于缺乏公认的基准，评估图形神经网络（GNN）的可解释性方法是具有挑战性的。鉴于GNN模型，存在几种可解释性方法来解释具有多种（有时相互矛盾的）方法论的GNN模型。在本文中，我们提出了一个基准，用于评估称为Bagel的GNN的解释性方法。在百吉饼中，我们首先提出了四种不同的GNN解释评估制度 - 1）忠诚，2）稀疏性，3）正确性。 4）合理性。我们在现有文献中调和多个评估指标，并涵盖了各种概念以进行整体评估。我们的图数据集范围从引文网络，文档图，到分子和蛋白质的图。我们对四个GNN模型和九个有关节点和图形分类任务的事后解释方法进行了广泛的实证研究。我们打开基准和参考实现，并在https://github.com/mandeep-rathee/bagel-benchmark上提供它们。
translated by 谷歌翻译
病毒感染导致全世界的显着发病率和死亡率。理解特定病毒和人类蛋白质之间的相互作用模式在揭示病毒感染和发病机制的潜在机制方面发挥着至关重要的作用。这可以进一步帮助预防和治疗病毒相关疾病。然而，由于病毒 - 人类相互作用的稀缺数据和大多数病毒的快速突变率，预测新病毒和人体细胞之间的蛋白质 - 蛋白质相互作用的任务是非常挑战性的。我们开发了一种多任务转移学习方法，利用人类互乱组约2400万蛋白序列和相互作用模式的信息来解决小型训练数据集的问题。除了使用手工制作的蛋白质特征，而不是通过深语模型方法从巨大的蛋白质序列来源学习的统计学上丰富的蛋白质表示。此外，我们采用了额外的目的，旨在最大限度地提高观察人蛋白质蛋白质相互作用的可能性。这一附加任务目标充当规律器，还允许纳入域知识来告知病毒 - 人蛋白质 - 蛋白质相互作用预测模型。我们的方法在13个基准数据集中实现了竞争力，以及SAR-COV-2病毒受体的案例研究。实验结果表明，我们所提出的模型有效地用于病毒 - 人和细菌 - 人蛋白质 - 蛋白质 - 蛋白质相互作用预测任务。我们分享我们的重复性和未来研究代码，以便在https://git.l3s.uni-hannover.de/dong/multitastastastastastastastastastask-transfer。
translated by 谷歌翻译
测量，评估和减少性别偏见已经与每隔几个月释放的更新和改进的语言嵌入来源于最前沿。但这种偏见可能从域变为域吗？我们看到很多工作要在各种嵌入式模型中学习这些偏见，但工作已经有限地完成了Debias Oxpan语言。我们的目标是衡量并研究印地语语言的偏差，这是一种高阶语言（性别），参考英语，较低的语言。为此，我们研究域跨域的变化来量化，如果域嵌入式允许我们对这对印度英语模型的性别偏见有所了解。我们将在四个不同的Corpora中生成嵌入式，并通过使用预先训练的艺术指示型翻译模型实现不同的指标，比较结果，这些标准 - 英语翻译模型已经比现有模型更好地执行了更好的NLP任务。
translated by 谷歌翻译
来自最近的研究的日益增长的证据意味着MicroRNA或miRNA可以作为各种复杂人类疾病中的生物标志物。由于湿实验室实验昂贵且耗时，MiRNA疾病协会预测的计算技术近年来引起了很多关注。数据稀缺是建立可靠机器学习模式的主要挑战之一。数据稀缺结合使用预先计算的手工制作输入功能导致了过度装备和数据泄漏的问题。我们通过提出一种基于新的多任务图卷积的方法来克服现有作品的局限性，我们称之为粘基。杀菌允许自动特征提取，同时将知识与五个异质生物信息来源（miRNA /疾病和蛋白质编码基因（PCG）之间的相互作用，多任务设置中的蛋白质编码基因，miRNA家族信息和病理学之间的相互作用。这是一种新颖的视角，并未在之前进行过。为了有效地测试我们模型的泛化能力，我们在标准基准数据集中构建了大规模实验，以及我们提出的更大的独立测试集和案例研究。杀螨物显示出在HMDDV2.0和HMDDV3.0数据集上的5倍CV评估中的至少3％，并且在较大独立的测试集上至少35％，并在最先进的方法上具有看不见的miRNA和疾病。我们分享我们的重复性和未来研究代码，以便在https://git.l3s.uni-hannover.de/dong/cmtt。
translated by 谷歌翻译
图形神经网络（GNNS）概括了图形数据上的传统深度神经网络，在几个图形分析任务上取得了最先进的性能。我们专注于训练有素的GNN模型如何泄露有关他们培训的\ emph {成员}节点的信息。我们介绍了两个现实的设置，以便在GNN上执行员工推理（MI）攻击。在选择利用培训模型的后索（黑匣子访问）的最简单可能的攻击模型时，我们彻底分析了GNN和数据集的属性，这些数据集决定了对MI攻击的鲁棒性的差异。虽然在传统的机器学习模型中，过度装备被认为是这种泄漏的主要原因，我们表明，在GNN中，额外的结构信息是主要的贡献因素。我们在四个代表性GNN模型上进行了广泛的实验，我们支持我们的结果。为防止MI攻击GNN，我们提出了两种有效的防御，明显将攻击者推断显着降低了60％，而不会降低目标模型的性能。我们的代码可在https://github.com/iyempissy/rebmigraph获得。
translated by 谷歌翻译
从对话数据中提取信息特别具有挑战性，因为以任务为中心的对话的性质可以有效地传达人类隐式信息，但对机器来说是具有挑战性的。话语之间的挑战可能会有所不同，具体取决于说话者在对话中的作用，尤其是当相关专业知识跨角色不对称时。此外，随着对话中隐含地传达的信息构建更多的共享环境，挑战也可能会增加。在本文中，我们提出了新颖的建模方法MedFilter，该方法解决了这些见解，以提高识别和分类与任务相关的话语时的性能，并在这样做时对下游信息提取任务的性能产生积极影响。我们在近7,000次医生对话的语料库上评估了这种方法，其中使用MedFilter来识别与讨论的医学相关贡献（在PR曲线下的面积方面，比SOTA基线提高了10％的贡献）。确定与任务相关的话语受益于下游医疗处理，在提取症状，药物和投诉的提取方面分别提高了15％，105％和23％。
translated by 谷歌翻译